Khi Carey biên soạn album tuyển tập đầu tiên của cô, #1's, "When You Believe" được đưa vào danh sách bài hát. Theo Carey, việc ca khúc được đưa vào là do cô thấy rằng ca khúc này là "một phép màu" khi cô và Houston cùng tham gia hợp tác một bản thu âm chung.[4] Trong quá trình phát triển All That Glitters (một bộ phim mà Carey đang thực hiện thời điểm đó, về sau được đổi tên thành Glitter), cô được giới thiệu với người đồng sở hữu hãng phim DreamWorks, Jeffrey Katzenberg, người đã gợi ý cô thu âm ca khúc "When You Believe" cho nhạc phim của bộ phim hoạt hình The Prince of Egypt (Hoàng tử Ai Cập).[3] Houston, mặt khác, được giới thiệu về dự án thông qua Kenneth "Babyface" Edmonds, nhạc sĩ mà cô đã hợp tác trong quá trình thực hiện album My Love Is Your Love. Sau khi bộ phim được chiếu cho từng nghệ sĩ xem riêng, cả hai trở nên hết sức nhiệt tình về việc tham gia dự án.[3]

Bài hát được đồng sáng tác bởi Stephen Schwartz và Babyface, người cũng thực hiện việc sản xuất cho ca khúc.[4] Babyface đã giải thích vì sao anh phải làm thêm phiên bản khác cho ca khúc và mô tả quá trình sản xuất giống như một bản ballad nhạc phim tuyệt vời, có điều gì đó hoàn toàn khác với tất cả những gì mà anh, Carey hoặc Houston từng thu âm trước đó. Trong cuộc phỏng vấn với tạp chí Vibe, Carey nói rằng cô "thích [ca khúc] theo cách mà nó vốn có". Cô miêu tả ca khúc là "một bài hát đậm chất ballad nhưng lại truyền cảm hứng sâu sắc" và bác bỏ những lời đồn đại về việc đã xảy ra sự cạnh tranh hay thù ghét giữa cô và Houston, trước khi thực hiện thu âm: "Tôi chưa từng trò chuyện với cô ấy mãi đến tận bây giờ. Giữa chúng tôi không bao giờ có bất cứ vấn đề nào cả. Truyền thông và mọi người cứ bảo rằng có vấn đề trong việc này."[5] Khi phỏng vấn với Ebony, Houston nói về mối quan hệ của cô với Carey:

"Tôi thích làm việc cùng cô ấy lắm. Mariah và tôi rất hòa thuận. Trước đây chúng tôi chưa nói chuyện hay hát cùng nhau bao giờ. Chúng tôi chỉ có một cơ hội để thể hiện tình đồng đội, giữa ca sĩ với ca sĩ, nghệ sĩ với nghệ sĩ, kiểu như vậy. Chúng tôi chỉ cười và nói, rồi nói và cười và hát trong khoảng thời gian đó... Thật tốt khi biết rằng hai nữ nghệ sĩ nhạc soul vẫn có thể trở thành bạn bè. Chúng tôi nói về việc làm những thứ khác cùng nhau, một cách mạo hiểm và khôn ngoan. Điều này rất tuyệt, vì cô ấy là một cô gái tốt, với tâm hồn trong sáng. Cô ấy thông minh. Tôi thực sự thích Mariah."[6]

Trong khi hai nữ nghệ sĩ tiếp tục thể hiện những cảm nhận tích cực với nhau, thì báo chí lại bắt đầu đưa ra những câu chuyện ngược lại.[4] Nhiều thông tin báo chí cho biết hai người không có thiện ý và sẽ chống đối' nhau và rằng họ phải thu âm ca khúc vào những buổi riêng vì liên tục xảy ra những căng thẳng. Khi những đồn đoán của giới truyền thông ngày càng gia tăng và ngày công chiếu của bộ phim tới gần, thì cả hai vẫn khẳng định rằng họ đã trở thành những người bạn thân và nói về nhau bằng những lời lẽ tốt đẹp nhất.[4]